查看原文
其他

EEG-fNIRS跨模态迁移学习优化BCI系统分类精度

社区创作团队 脑机接口社区 2023-02-08

基于功能近红外光谱(fNIRS)的脑机接口(BCI)在情感识别方面的巨大应用潜力,该模式受到越来越多的关注。然而,由于特征提取算法的相对不足,限制了其在实践中的应用。最近,科学家提出一种基于正则化空间模式(RSCP)的R-CSP-E方法,即在计算基于转移学习和集合学习理论的fNIRS信号特征时引入EEG信号,使用独立分量分析(ICA)来实现两个信号源之间的对应,然后在改进共同空间模式(CSP)算法的空间滤波器时引入了EEG。实验证明,该方法相对没有迁移算法的传统方法,平均分类精度可提高5%。实现了EEG和fNIRS之间应用迁移学习。证明了迁移学习算法在跨模BCI中的潜力,还为研究混合型脑机接口提供了一个创新视角。


    数据采集和处理


任务过程脑电图电极、近红外辐射源和探测器的放置。除了采集fNIR数据的36个通道,还添加了按照10-20系统放置的EEG电极。



算法的总体结构。将脑电信号和fNIRS信号分别进行预处理后,分为训练集和测试集,通过ICA算法调整训练集数据的信道顺序,然后使用RCSP框架生成特征,最后结合LDA和KNN进行分类


特征提取的算法由两部分组成,模型训练和模型测试,在第一部分中,和以往基于单一信号的处理方法不同,该方法在通过基于ICA的源分布关联算法调整信道后,将脑电训练数据集引入到空间滤波器的计算中,然后基于RCSP框架再利用fNIRS数据构建复合空间滤波器。其中,RCSP正则化参数的选择通过集成学习的方法确定。最后,将滤波提取的特征输入线性判别分析(LDA)进行降维,并使用K近邻(KNN)算法进行分类。


    实验结果


基于运动想象数据的处理后大脑空间模式



在比较了CSP、R-CSPCV和R-CSP-E的总体平均分类精度后,发现R-CSP-E算法优于传统CSP算法,正确分类率平均提高了7%,说明了集合学习方法相对于传统交叉验证法的优势。与信道特征提取方法和传统的CSP算法相比,R-CSP-E可以将分类准确率平均提高至少6%。在R-CSP-E滤波器引入EEG信号后,比CSP滤波器具有更强的识别能力,这也符合神经生理学研究的预期。


该方法最主要的优势在于计算fNIRS信号特征时考虑了EEG的特征空间,提升了信息维度,从而也提高了分类结果的准确率。运动想象脑机接口在康复训练和神经功能恢复方面有广泛的应用。而fNIRS,基于神经血管耦合性,在监测大脑功能激活模式和神经康复方面也发挥了可靠的作用,可以用来监测病人的运动和认知能力随着时间推移而改善的过程。fNIRS-BCI性能的扩展提高将促进认知神经科学和神经可塑性的发展,同时也为多模态信号训练混合型BCI系统提供了一个可靠的优化思路。


参考文献:

Wang Y, Yang Z, Ji H, et al. Cross-Modal Transfer Learning From EEG to Functional Near-Infrared Spectroscopy for Classification Task in Brain-Computer Interface System[J]. Frontiers in Psychology, 2022, 13.

链接:https://www.frontiersin.org/articles/10.3389/fpsyg.2022.833007/full


于学术交流,不用于商业行为,若有侵权及疑问,请后台留言,管理员即时删侵!


更多阅读

高小榕教授等人:脑机接口技术发展新趋势 

—基于2019—2020年研究进展

10-20国际标准导联系统

多动态模型揭示了时变静息功能磁共振成像的强相关性

陶虎:治病救人是脑机接口技术研发的第一要务

国内多所单位联合推出的基于SSVEP可穿戴BCI开放数据集

脑机接口、开源和民主化增强意识的未来

基于脑电的深度学习失眠障碍检测算法

   加入社群  


欢迎加入脑机接口社区交流群,

探讨脑机接口领域话题,实时跟踪脑机接口前沿。

加微信群:

添加微信:RoseBCI【备注:姓名+行业/专业】。

加QQ群:913607986


  欢迎来稿  

1.欢迎来稿。投稿咨询,请联系微信:RoseBCI

2.加入社区成为兼职创作者,请联系微信:RoseBCI








助力脑机接口发展






点个在看祝你开心一整天!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存